A2D2: Fine-Tuning Any-Length Discrete Diffusion for Adaptive Decoding
A2D2：任意长度离散扩散微调实现自适应解码
🧭 离散扩散模型 · 奖励微调与自适应生成
University of Pennsylvania · Georgia Institute of Technology
提出联合优化插入/去掩码策略与质量推理调度的任意长度离散扩散奖励微调框架。
📌 工作参考价值（4 点）
- 将推荐列表生成建模为离散扩散过程，利用A2D2的奖励微调直接优化业务指标（如点击率），无需依赖代理奖励模型，理论上保证收敛到目标分布。
- 自适应解码中的质量调度机制可动态控制推荐列表长度与质量平衡，例如在电商场景中根据查询意图自动调整召回数量，提升效率与精度。
- AJD损失提供了最优路径测度的训练目标，可用于训练生成式检索模型，使生成的item序列更贴合用户偏好分布，减少曝光偏差。
- 推理时自适应调整插入/去掩码的调度策略，可迁移到Agent的响应生成中，根据对话状态动态决定生成内容的详细程度或步骤数。